Ayatollah Ali Khameini merupakan keturunan Azeri[1] yang menetap di Mashhad,[2] dan mula mendalami ilmu agama sebelum tamat pendidikan asas di Iran. Beliau merupakan putera kedua daripada lapan adik beradik. Adik lelakinya Hadi Khameini merupakan seorang penyunting surat khabar dan juga seorang ulama.[3]

Beliau menghadiri kelas agama "Sat'h" dan "Kharej" di hawza, Mashhad dibawah pimpinan Haji Sheikh Hashem Qazvini dan Ayatollah Milani. Pada tahun 1958, Ayatollah Ali Khameini berpindah ke Qom dan mula menghadiri kelas Ayatollah Husian Borujerdi dan Ayatollah Ruhollah Khomeini dan mula menglibatkan diri dalam politik pada tahun 1963 yang menyebabkan beliau ditangkap di Birjand, selatan wilayah Khorasan. Selepas dibebaskan, beliau mula mengajar di sekolah agama di Mashhad.

Ketika dilantik menjadi pemimpin agung Iran, beliau belum lagi mendapat pangkat marja, sebuah pangkat untuk ulama Shia yang membolehkan ulama itu mengeluarkan fatwa.[4] Memandangkan perlembagaan Iran tidak membenarkan ulama bukan marja menjadi pemimpin agung, maka, perlantikan beliau hanyalah untuk sementara. Selepas kewafatan Ayatollah Mohammad Ali Araki, Persatuan Pendidik Seminari Qom mengisytiharkan Ayatollah Ali Khameini sebagai marja baru.